Việc chế tạo lớp tàu khu trục Fubuki tiên tiến được chấp thuận vào năm tài chính 1923 như một phần của chương trình có tham vọng cung cấp cho Hải quân Đế quốc Nhật Bản một ưu thế về chất lượng so với những tàu chiến hiện đại nhất của thế giới.[3] Khả năng thể hiện của lớp Fubuki là một bước nhảy vọt so với các thiết kế tàu khu trục trước đó, nên chúng được gọi là các "tàu khu trục đặc biệt" (tiếng Nhật: 特型 - Tokugata). Kích thước lớn, động cơ mạnh mẽ, tốc độ cao, bán kính hoạt động lớn và vũ khí trang bị mạnh chưa từng có khiến cho các tàu khu trục này có được hỏa lực tương đương nhiều tàu tuần dương hạng nhẹ của hải quân các nước khác.[4] Ayanami, được chế tạo tại xưởng đóng tàu Fujinagata ở Osaka, là chiếc đầu tiên của một loạt tàu được cải tiến, bao gồm kiểu tháp pháo có thể nâng các khẩu pháo chính 127 mm (5 inch)/50 caliber Kiểu 3 lên một góc 75° so với nguyên thủy 40°, cho phép sử dụng chúng như pháo lưỡng dụng có thể chống lại máy bay. Ayanami là tàu khu trục đầu tiên trên thế giới có tính năng này.[3]

Ayanami được đặt lườn vào ngày 20 tháng 1 năm 1928. Nó được hạ thủy vào ngày 5 tháng 10 năm 1929 và đưa ra hoạt động vào ngày 30 tháng 4 năm 1930.[5] Nguyên được dự định mang số hiệu đơn giản là "Tàu khu trục số 45", nó được hoàn tất dưới tên gọi Ayanami, kế tục cái tên của chiếc tàu khu trục tiền thân vào giai đoạn trước Thế Chiến I.

Sự cố đối với Hạm đội 4 Hải quân Đế quốc Nhật Bản, khi một số lớn tàu chiến bị hư hại bởi một cơn bão, xảy ra không lâu sau khi Ayanami được đưa vào hoạt động, và nó cùng với các tàu chị em nhanh chóng được cho quay trở lại ụ tàu để gia cường thêm lườn tàu.